Milner sinh tại Plymouth, Anh quốc trong một gia đình quân sự. Ông nhận học bổng Eton College năm 1947, sau đó phục vụ trong vai trò kỹ sư Hoàng gia. Ông được tuyển dung vào trường King's College, Cambridge. Tốt nghiệp năm 1957, ông tham gia giảng dạy và là lập trinh viên tại Ferranti, trước khi vào đại học City University, London, sau đó là Swansea University, và đại học Stanford, và từ năm 1973 ông chuyển công tác tơi đại học Edinburgh, mà ở đó ông là đồng sáng lập của Phòng thí nghiệm cơ bản về Khoa học Máy tính(LFCS). Ông quay lại Cambridge với vai trò đầu đàn của phòng thí nghiệm máy tính đại học Cambridge vào năm 1995.